作者简介:史凯,花名凯哥,腾讯云最具价值专家TVP,ThoughtWorks数据智能业务总经理。投身于企业数字化转型工作近20年。2000年初,在IBM 研发企业级中间件,接着加入埃森哲,为大型企业提供信息化架构规划,设计,ERP,云平台,数据仓库构建等技术咨询实施服务,随后在EMC负责企业应用转型业务,为企业提供云迁移,应用现代化服务。现在专注于企业智能化转型领域,是数据驱动的数字化转型的行业布道者,数据中台的推广者,精益数据创新体系的创始人,2019年荣获全球Data IQ 100人的数据赋能者称号,创业邦卓越生态聚合赋能官TOP 5。2019年度数字化转型专家奖。打造了行业第一个数据创新的数字化转型卡牌和工作坊。创建了精益数据创新方法论体系构建数据驱动的智能企业,并在多个企业验证成功,正在向国内外推广。
一、数据中台现象及剖析
去年3月份我写了一篇关于数据中台的文章,得到了10万+的浏览量。我当时非常意外,怎么这样一篇1万多字,还不是特别好理解的技术类的文章能得到10万+呢?这个现象是不是意味着,数据中台热起来了呢?作为一个数据工作者,我从不靠直觉做判断,我们尽可能的利用数据作判断。我第一时间注册了“数据中台”这个百度指数,然后观察它的搜索热度。因为,不像过去所有的IT概念、云计算、大数据等全是来源于国外,中台是中国人自己发明的概念。所以我们通过百度的搜索指数,也能够看到数据平台在行业里的热度。下图展示的是:数据中台和数字化转型的百度搜索指数的热度对比,能够发现数据中台搜索热度在2019年初,正好是3月份的样子,已经超越了数字化转型的热度,并且在发生启动前达到顶峰。再来看跟数据中台相关的商业智能、数据仓库两个概念。在过去,数据仓库、商业智能都是非常火热的概念,尤其是数据仓库。而在今年数据仓库有了下滑的趋势,数据中台却到达了顶峰。现在数据中台已经超越了数据仓库加商业智能两者的热度总和,这说明现在行业里面,特别是甲方的企业需求端,对于数据中台越来越关注。市场是客观地,没有无故无缘无故的爱。数据中台的火爆一定不仅仅是厂商在炒概念,它也一定承载了很多行业、甲方、想做数字化转型的企业,对于数据中台的期待。因为原来的很多需求满足不了,所以才需要一个新的概念来承载这些期待, 数据中台因运而生,那么数据中台背后承载的是什么呢?我在2019年3月份就发起了一个数据中台行业调研,收到了超过460份有效问卷,对调研者为什么关注数据中台做了词频的分析,如下图所示:我们会发现,有四个期待是排名最靠前的:业务,数据服务,价值和快速。解读如下:1. 企业为什么对数据中台概念这么感兴趣?(1)企业希望数据距离业务更近以前的数据部门离业务部门有距离,业务部门不能直接使用数据,也不能直接地在数据当中发现价值,业务迫切希望距离数据更近,这是最大的一个需求。(2)企业希望数据中台能够提供数据服务过去数据部门提供的都是可视化辅助决策类的服务,而企业希望数据中台能够提供高响应更实时的数据服务。(3)企业希望数据中台能直接提供业务价值如何能够让数据直接产生业务价值,是企业非常关心的问题。(4)企业希望数据中台能够快速开发数据服务如何能够让数据的开发,利用更快速?当然,还有其他的期待:(5)企业希望数据中台和数据能够围绕业务场景来开展工作(6)提供统一数据还有诸如:赋能业务更智慧、构建统一数据资产、打通数据孤岛等企业方面的迫切需求。总的来说,很明显能看到企业对于数据中台这个概念承载的重大期待。那为什么数据仓库、数据平台、商业智能就解决不了这些问题呢?2. 数据中台、数据仓库、数据平台与商业智能的区别我在2008年起就负责过一些SAP BW/Cognos/Microstrategy类数据仓库的项目,对传统的主数据管理,数据治理很熟悉基于这些经验,总结了数据仓库、数据中台和商业智能之间的区别,还用一个《数据中台闹革命》的图片故事做过描述。实际上它们之间根本不在一个维度上。数据中台是个概念,而数据仓库是一种具体的技术领域,它也已经有对应的标准化的产品。商业智能一方面也是一个概念,另一方面它也有对应的产品。传统的商业智能和数据仓库,是以分析报表为核心。把数据加工成分析报表,提供给决策层去看的。这样的辅助决策系统,叫商业智能,它的底层是数据仓库,因为它要跨域存储和处理加工企业的历史数据。数据平台是企业有了大数据的情况下,希望能够采集全量的数据,包括采集非结构化数据的大数据平台。数据仓库、数据平台都是技术类系统,不能直接服务于业务。而数据中台,企业希望它能直接服务与业务前台。商业智能主要的用户是决策层,它主要提供服务的方法是分析报表、数据湖和数据平台。它的主要的使用对象实际上是数据开发者、数据技术人员和数据分析师。它给这些使用者提供数据集、 Data Set。Database as a Service。数据中台的用户则是企业所有的数据用户,数据消费者,还包括业务系统。所以总的来说,通过我们前期的调研、沟通、行业里的反馈发现,对于企业的业务用户来说,企业希望数据中台是能直接服务于业务的平台。它能离具体业务更近,以多种方式为业务、系统提供数据产品。在这样的场景下,我们认为数据中台区别于前两者最大的特点是:它提供的产品是Data API,是数据服务。这是从使用的用户和它自身的特点出发来看待它们之间的区别。如果从出发点来说,现在的技术选型、技术工具是很多的,但是最重要的是我们对一件事情的概念上的认知,只要目标和认知清晰了,那么实现它的办法是有很多种的。数据中台和数据平台最大的区别是什么?我们认为数据中台是离业务更近。业务需要什么服务?是数据中台和数据服务。中台的部门或者团队,最优先考虑的是提供给业务所需要的服务。但数据平台不一样,数据平台最核心的是数据的存储、加工。对于数据平台,是有什么数据才能干什么?所以出发点不一样,一个是带有业务视角的,以需求为导向的,另一个是以技术和数据为导向。 还有一点是度量角度不同,数据中台做的好不好,对于企业的价值更多体现在数据服务和的提供数据服务的客户满意度。数据平台看重是数据的质量,它是把数据集提供给用户去使用,数据质量好和不好是最关键的。上述就是数据中台、数据仓库、数据平台、商业智能,它们之间的区别。在此基础之上,我们来给数据中台下个定义:数据中台是为企业所有的数据消费者提供数据服务/产品的平台。